Сергей Титов - Естествознание. Базовый уровень. 11 класс

H = – (Рудачи •lоg2 P удачи + P неудачи • lоg2 Р неудачи).

Вычислим энтропию для нашего примера со сдачей экзамена. Вероятность успешной сдачи составляет 0,9, а её двоичный логарифм равен -0,15.

Вероятность провала равна 0,1, а её логарифм по основанию 2 соответствует -0,33. Значит, энтропия равна:

Н = – [0,9 (-0,15) + 0,1 • (-0,33)] ≈ 0,17.

Эта величина выражается в битах и означает степень нашей неосведомлённости по поводу результата экзамена.

Предположим теперь, что мы имеем дело с неизвестным учащимся, про степень подготовки которого мы абсолютно ничего не знаем. Как мы оценим вероятность его успеха или провала? Логично предположить, что надо считать и ту и другую равными 0,5, как говорится, «пятьдесят на пятьдесят». Просто у нас нет никаких оснований считать иначе. Какова будет энтропия в этом случае? Как нам известно, в случае равновероятных исходов энтропия равна двоичному логарифму их количества. Таких исходов у нас два – либо сдаст, либо не сдаст. Значит, в этом случае степень нашего незнания результата экзамена равна 1 биту, что значительно больше, чем в предыдущем случае. Почему так получилось? Потому что про второго экзаменуемого нам не было ничего известно, в то время как в отношении себя мы знали, насколько различаются вероятности успешной или неуспешной сдачи экзамена. Это знание вероятностей и снизило энтропию. На сколько? Очевидно, на величину разницы энтропий для двух различных случаев, т. е. на 1 – 0,17 = 0,83 бита. Формула Шеннона показывает, что чем больше степень нашего незнания, тем большей получается величина энтропии.

В реальной жизни при выборе решения мы почти всегда исходим из того, что обладаем некоторой предварительной информацией по этому вопросу. Эта информация снижает исходную энтропию выбора. Например, нам пришлось задать всего одиннадцать вопросов для того, чтобы узнать, что загадан именно Ньютон. Предварительная информация перед угадыванием заключалась в том, что задуманным должен быть человек, скорее всего известный как загадывающему, так и отгадывающему. Вряд ли игрок имел в виду младшего сына любимого раба римского сенатора Информациуса, жившего во II в. до н. э. Сколько на Земле жило достаточно общеизвестных людей? Надо думать, что не более нескольких тысяч. Если для отгадывания Ньютона нам пришлось задать одиннадцать вопросов, значит, полученная информация составила 11 бит, а количество возможных вариантов выбора было равно 211 = 2048. Вряд ли количество известных всем знаменитостей намного больше этого числа. Ну, допустим, что играющие – очень эрудированные люди и знают в пять раз больше знаменитых людей, т. е. около десяти тысяч человек. В этом случае для угадывания им будет достаточно задать не более четырнадцати вопросов, так как логарифм 10 000 по основанию 2 равен приблизительно 13,3.

А что будет в том случае, если мы не имеем никакой предварительной информации? Допустим, что мы имеем дело с авантюристом, который всё-таки загадает младшего сына любимого раба. Вы думаете, что для отгадывания надо будет задать невероятно большое число вопросов? Вовсе нет. Количество всех людей, живших на Земле в обозримый исторический период, вряд ли превышает 10 млрд. А двоичный логарифм этого числа равен 29,9. Так что, задав всего 30 вопросов, вы можете угадать любого человека из всех когда-либо живших. Разумеется, для этого требуется умение правильно задавать вопросы.

В этом заключается одна из особенностей информации – её количество растёт значительно медленнее, чем число вариантов выбора. Это связано с тем, что информация представляет собой логарифм числа выборов, а логарифмическая функция обладает такой особенностью, что при увеличении аргумента во столько-то раз её значение изменяется на столько же единиц. То есть, по мере того как широта выбора растёт в геометрической прогрессии, информация растёт в арифметической прогрессии.

Это свойство информации многих очень удивляет, но именно оно представляет огромную ценность для создания компьютеров, где используют так называемую двоичную систему кодирования информации. С помощью только двух цифр – 0 и 1 – выражают любое число. В десятичной системе, которую мы обычно используем, – десять цифр от 0 до 9. Следующее число пишется как 10, что означает один полный десяток и ноль цифр второго десятка. Затем мы увеличиваем число единиц во втором десятке, пока не дойдём до 19. Число 20 говорит нам, что имеется два полных десятка и ни одного числа третьего десятка. Так продолжается до тех пор, пока счёт не достигнет 99. После этого мы добавляем ещё один разряд – сотни, т. е. квадраты десяток. Число 145 означает, что в нём содержится одна сотня, четыре десятка второй сотни и пять единиц пятого десятка второй сотни. Далее мы продолжаем счёт, вводя, когда потребуется, третьи, четвёртые и дальнейшие степени десяти.

В двоичной системе нет цифр, означающих числа, большие единицы. Поэтому уже для обозначения двойки нам приходится использовать число 10, которое означает: «одна полная двойка и ноль чисел во второй двойке». Далее идёт число 3, которое пишется как 11: «одна полная двойка и одно число второй двойки». Следующим числом будет 4, а это квадрат двойки. Значит, и писать его надо так, как в десятичной системе пишется квадрат десятки, т. е. 100. Теперь посмотрим, как можно изобразить любое число в двоичной системе. Допустим, мы хотим это сделать для тех же ста сорока пяти. Сначала надо узнать, сколько в этом числе содержится целых степеней двойки. Находим, что 27 равно 128, что меньше 145, а 28 – уже 256, что превышает это число. Значит, сто сорок пять равно двум в седьмой степени (27), что записывается как единица с семью нулями (10 000 000), плюс 17 (145 – 128). Выразим 17 в двоичной системе: 16, т. е. 24 (записывается как единица с четырьмя нулями – 10 000), плюс 1. После этого посмотрим, как выглядит число 145 в двоичной системе. Для этого надо сложить все числа, которые мы получали в процессе вычисления: 10 000 000, 10 000 и 1. Следовательно, выражая это число в двоичной системе, мы получаем: 10 000 000 + 10 000 + 1 = 10 010 001.

Казалось бы, такая система слишком громоздка и неудобна для записи и вычислений. Но она является незаменимой в создании электронных устройств и вычислительной техники. Все электронные устройства состоят из отдельных элементов. Чем меньше значений может принимать каждый элемент, тем проще изготовить такие элементы. Две цифры двоичной системы могут быть легко представлены многими физическими явлениями: есть ток – нет тока, температура выше заданной – температура ниже заданной и т. п. Кроме того, чем меньше число возможных состояний элемента, тем надёжнее и быстрее он может работать. К тому же техническим устройствам значительно проще выполнять арифметические вычисления, используя двоичную систему. Например, для того чтобы сложить числа 12 и 36, надо закодировать в памяти машины значения четырёх цифр, в то время как в двоичной системе эта операция выглядит так: (23 + 22) + + (25 + 22) = 1000 + 100 + 100 000 + 100. Поставьте себя на место машины, и вы поймёте, что такую операцию выполнить значительно проще.

Поскольку в двоичной системе существует всего две цифры, то при решении какой-либо задачи требуется на каждом шагу рассуждения или вычисления выбирать один из двух одинаковых вариантов, т. е. тратить информацию, равную одному биту. А так как количество возможных вариантов решения возрастает значительно быстрее, чем число сделанных шагов, то, используя сравнительно небольшое количество двоичных действий, можно осуществить выбор из огромного числа разнообразных решений или комбинаций. Именно на этом принципе строится работа современных компьютеров.

1. Как зависит энтропия незнания ответа на какой-либо вопрос от того, насколько равны вероятности всех возможных ответов на него?

2. Как изменяется величина информации с ростом числа возможных ответов на интересующий нас вопрос?

3. Чем различается написание чисел в десятичной и двоичной системах?

1. Подсчитайте, сколько вопросов, допускающих ответы «да» или «нет», требуется задать для того, чтобы установить одного из жителей города с населением 65 тыс. человек.

2. Выразите номер этого параграфа в двоичной системе.

§ 12 Ценность и избыточность информации

…Нелегко с Кощеем сладить: смерть его на конце иглы, та игла в яйце, то яйцо в утке, та утка в зайце, тот заяц в сундуке, а сундук стоит на высоком дубу, и то дерево Кощей как свой глаз бережёт.

Используя уравнения теории информации, мы можем вычислить, какое количество информации содержится в полученном сообщении. Но оценив значение информации в нашей жизни и в окружающем нас мире, мы увидим, что это количество далеко не всегда определяет важность, ценность или полезность этого сообщения. Предположим, вы претендуете на престижное место работы или на место для обучения в известном университете. После предварительного отбора вы становитесь одним из двух претендентов на это место, причём шансы у обоих приблизительно равны. Вы переживаете и не даёте себе покоя в течение нескольких дней и наконец получаете сообщение, в котором говорится, что вы приняты. Это сообщение радикально меняет вашу жизнь, вашему счастью нет предела… А сейчас задумайтесь, сколько информации оно вам принесло. Всего один бит. Теперь представьте себе, что вы уронили монету и, перед тем как её поднять, заметили, что она лежит цифрой кверху. Это наблюдение принесло вам один бит информации, т. е. ровно столько же, сколько в предыдущем случае.